When Is Complex Chunking Worth It? A Multi-Objective Evaluation of Chunking Methods at Scale
复杂分块何时值得？大规模分块方法多目标评估
🧭 RAG 密集检索 · 分块多目标评估
University of Passau · Interdisciplinary Transformation University Linz
8种分块策略的规模化评测表明复杂分块很少一致优于简单分块，最佳选择高度依赖模型、数据和规模，且成本差异显著
📌 工作参考价值（4 点）
- 在电商 RAG 场景（商品文档/评价/客服知识库）中，先以固定长度或递归分块作为 baseline，不必一上来用 Proposition/语义分块等复杂方法：它们往往只带来微小或不一致提升，但索引与维护成本更高。
- 选型分块时把索引吞吐、查询延迟、向量库内存纳入评估，而不只看 nDCG/Recall；相同检索指标下，优先选择 chunk 数量少、平均长度小的策略，可显著降低线上召回和存储成本。
- 分块效果与 embedding model 和 corpus size 存在交互，没有 universal best；上线前应在自己模型与目标语料规模下做小规模多目标 ablation，并分别报告 Recall@k 与 nDCG@k，因为结论可能随目标指标不同而翻转。
- 对于长文档召回，采用“更细分块 + MaxP/段落级聚合”常是一个稳的起点；复杂分块若不能在同一模型/数据上稳定提升，不建议为微弱效果付出工程复杂度。